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基于 泛 在 设备 互 操作 的 机 物 协 同 技术 


叶 剑 朱 珍 民 陈 援 非 沈 燕 飞 王 双 全 陈 益 强 


摘要 机 物 协 同 技术 旨 在 基于 泛 在 的 设备 互 操作 技术 , 利用 互联 网 构建 广 域 的 数据 共享 和 服务 协同 环境 。 本 
文 从 普 适 计算 及 善 适 服务 应 用 需求 出 发 ， 首 先 描述 了 泛 在 设备 互 操作 标准 ， 然 后 介绍 了 泛 在 设备 互 操 作 技 
术 的 两 个 核心 功能 :语义 描述 及 匹配 、 泛 在 设备 互 操 作 中 间 件 。 最 后 ， 本 文通 过 “爱心 小 屋 ” 中 远程 亲情 
互动 系统 的 三 个 应 用 案例 ， 展 示 了 机 物 协 同 技术 的 应 用 效果 。 
关键 词 普 适 计算 机 物 协 同 泛 在 设备 互 操作 互 操作 中 间 件 
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普 适 计算 的 目标 是 “建立 一 个 充满 计算 和 通信 能 力 的 环境 ,同时 使 这 个 环境 与 人 们 逐渐 
地 融合 在 一 起 ”( 引 上 自 百度 百科 )。 在 普 适 计算 环境 中 , 泛 在 设备 互 操作 是 实现 计算 和 通信 的 
基础 要 素 。 互 操作 性 是 开放 系统 的 一 个 重要 特征 , 泛 在 网 络 加 上 泛 在 设备 为 人 们 构成 了 开放 
式 的 普 适 计算 环境 。 实 现 对 这 些 计算 资源 的 无 颖 访问 和 资源 间 的 相互 协同 是 实现 普 适 服务 的 
基础 ， 而 泛 在 设备 的 互联 互通 和 互 操作 是 实现 计算 资源 无 颖 访问 和 资源 协同 等 3C 协同 技术 
的 前 提 ， 同 时 也 是 普 适 计算 技术 发 展 方向 之 一 。 


泛 在 网 络 技术 鞍 勃 发 展 。 互 联网 〈Internet) 联接 了 世界 各 地 的 计算 机 ， 对 人 们 的 工作 
和 生活 方式 产生 了 巨大 影响 。 同 时 ， 短 距离 无 线 通 讯 技 术 将 更 多 的 节点 联接 起 来 ， 形 成 无 线 
局 域 网 、 无 线 个 域 网 、 无 线 传感器 网 等 各 种 特殊 用 途 的 网 络 。 泛 在 网 络 中 的 设备 互联 不 再 局 
限于 局 域 网 环境 下 的 短 距离 连接 和 互通 ,而 是 以 物 联网 为 基础 ,依赖 互 联网 的 技术 延伸 ， 
建 机 对 机 (M2M，Machine to Machine) 的 设备 云 环境 ， 实 现 广域网 络 环境 的 设备 级 互联 、 
互通 和 互 操作 ,并 在 此 基础 上 实现 数据 共享 和 服务 协同 ， 建 立 真正 的 泛 在 机 物 协 同 环境 。 机 
物 协同 环境 是 一 种 以 机 器 终端 交互 为 核心 的 、 网 络 化 的 应 用 服务 基础 平台 , 通过 机 对 机 的 设 
备 网 络 基 础 架构 ， 服 务 于 人 机 交互 、 人 人 交互 的 目标 ， 构 建设 备 数据 及 服务 协同 共享 平台 。 

通过 上 述 分 析 可 以 看 出 , 泛 在 设备 互联 互 操作 构成 了 机 物 协同 的 技术 基础 。 本 文 将 从 泛 
在 设备 的 语义 描述 入 手 , 重点 介绍 泛 在 设备 中 间 件 系统 的 原理 设计 。 通 过 远程 亲情 沟通 系统 
多 个 功能 案例 分 析 ， 说 明 机 物 协同 技术 在 “爱心 小 屋 `” 中 发 挥 的 重要 作用 。 


2 泛 在 设备 互 操作 标准 
泛 在 设备 互 操作 标准 是 实现 泛 在 机 物 协同 的 重要 技术 基础 中 。 本 节 介绍 3C 协同 及 无 线 
个 域 网 应 用 两 个 领域 的 一 些 互 操作 标准 。 


2.1 3C 协同 技术 标准 


3C (Computer、Communication 和 Consumer Electrics) 协同 作为 新 兴 的 技术 领域 具有 
大 的 市 场 前 景 ， 相关 技术 标准 组 织 快速 展开 了 标准 竞争 。 欧洲 、 美 国 和 日 本 先后 提出 了 十 
个 数字 3C 协同 方面 的 技术 标准 ， 中 国企 业 也 推出 了 一 系列 自主 标准 。 这 些 标准 包括 UPn 
DLNA、Windows Rally、IGRS、ITopHome (e 家 佳 )、OSGi、Home API、HAVi、UOPF、 


吕 了 


轧 以 0 


，”“ 爱 心 小 屋 ” 是 我 们 综合 了 人 -人 、 人 -机 交互 和 机 物 协 同方 面 的 技术 搭建 的 远程 亲情 交互 平台 示范 项 目 
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ETSI、ECHONet、SALUTATION 和 EURESCOM 等 ， 如 表 1 所 示 。 


表 1 3C 


协同 技术 标准 简介 


标准 名 称 标准 简介 


UPnP 


DLNA 


DPWS 


IGRS 


ITopHome 


OSGi 


UPnP (Universal Plug & Play〉 外 由 UPnPT™M Forum 提出 ， 目 的 是 为 家 庭 网 络 环 
境 提 供 发 现 服 务 和 实现 服务 的 应 用 程序 编程 接口 (API)。 基 于 UPnP 协议 可 以 


实现 多 种 家 庭 设备 控制 和 多 媒体 播放 等 互 操作 应 用 。 


UPnP 使 用 各 种 成 熟 技术 


实现 各 种 功能 ， 如 : 采用 自动 卫 地址 分 配 机 制 实现 IP 网 络 中 的 设备 自动 寻 址 ， 
采用 SSDP 协议 实现 设备 间 的 相互 发 现 ， 采 用 SOAP 协议 进行 设备 控制 ， 采 用 


GENA 机 制 进行 事件 通知 。 


DLNA (Digital Living Network Alliance) 89 由 索尼 、 英 特 尔 、 微 软 等 发 起 成 立 ， 


旨 在 解决 包括 个 人 电脑 、 消 费 电 器 、 移 动 设备 在 内 的 无 线 网 络 和 有 线 网 络 的 互 
联 互 通 。DLNA 充分 发 气 已 有 的 成 熟 技 术 和 协议 ， 在 UPnP 协议 基础 上 ， 规 范 
了 设备 在 不 同 网 络 ， 不 同 设备 之 间 互 联 互通 的 具体 过 程 。 


DPWS (Device Profile for Web Services)" 是 Windows Rally 技术 的 一 个 子 集 ， 即 
在 资源 有 限 的 终端 上 使 用 的 、 用 于 实现 安全 的 互联 网 服务 (Web service) 的 最 
小 接口 集 ， 主 要 用 于 在 可 接 入 网 络 的 设备 上 提供 对 互联 网 服务 的 支持 。DPWS 


提供 一 些 互联 网 服务 ， 实 现 安全 地 发 送 和 接收 信息 、 


动态 发 现 互 联网 服务 、 表 


述 互联 网 服务 和 如 何 预订 与 接收 来 自 互 联网 服务 的 事件 。DPWS 以 XML 作为 
数据 描述 和 交换 的 标准 ， 以 WSDL 作为 服务 的 描述 语言 ， 以 UDDI 作为 服务 的 


注册 和 发 现 机 制 ， 以 SOAP 作为 交换 信息 的 协议 


IGRS《〈 信 息 设备 资源 共享 协同 服务 ) ”资源 描述 及 功能 服务 接口 标准 ， 使 设 


备 能 够 有 效 实现 资源 开放 及 服务 协同 ， 提 高 设备 间 功 能 的 互 操作 性 。 其 宗旨 
概括 为 “智能 互联 、 资 源 共享 、 协 同 服务 ”。IGRS 支持 各 种 信息 设备 通过 有 线 


局 域 网 、 无 线 局 域 网 、 蓝 牙 等 实现 连接 。 传 输 基 于 


传输 控制 协议 /网 间 协 议 


(CTCP/P); 设备 交互 消息 框架 基于 HTTP 协议 ; 设备 发 现 与 资源 共享 基于 IGRS 


基础 协议 ， 设 备 协同 服务 基于 IGRS 应 用 框架 。 


ITopHome 是 将 家 庭 控制 网 络 和 多 媒体 信息 网 络 集 于 一 体 的 家 庭 信息 化 平台 ， 


旨 在 在 家 庭 范 围 内 实现 信息 、 通信 、 娱乐 设备 、 家 用 电器 、 自动 化 、 照明 、 采 


安 〈 监 控 ) 装置 及 水 电气 热 表 、 家 庭 求助 报警 等 设备 的 互联 和 管理 ， 以 及 数据 


和 多 媒体 信息 共享 的 系统 。ITopHome 涉及 家 庭 网 络 的 体系 结构 、 家 庭 主 网 通 


讯 协 议 、 家 庭 子 网 通讯 协议 、 家 庭 设 备 描述 规范 、 以 及 一 致 性 测试 规范 等 ， 构 


成 了 家 庭 网 络 标准 体系 的 基础 协议 。 


OSGi (Open System Gateway initiative ) 0 开放 式 标准 和 网 络 架 构 的 应 用 集成 平 
台 ， 以 Java 为 基础 ， 提 供 跨 操作 系统 的 服务 。 在 OSGi 平台 上 ， 各 种 设备 可 以 


相互 分 享 彼此 的 服务 和 资源 .0OSGi 尝试 在 互联 网 上 实现 非 IP 协议 之 间 的 通信 ， 


式 计算 机 、 高 端 服务 器 等 。 


2.2 无 线 个 域 网 互 操作 标准 


域 网 外 部 信息 通信 标准 。 为 了 解决 传感器 与 各 种 网 络 相连 的 问题 ， 


”BAN， 


Body Area Network 
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其 目标 是 用 于 带 有 家 庭 自 动 化 应 用 的 住宅 互联 网 网 关 ， 应 用 领域 已 扩展 到 数字 
移动 电话 、 汽 车 、 信 息 通 讯 业 务 、 和 嵌入 式 的 电器 、 家 


庭 网 关 、 工 业 计算 机 、 人 台 


IEEE 1451" 是 “ 体 域 网 ”* 内 部 信息 通信 标准 ,可 以 分 为 体 域 网 内 部 信息 通信 标准 和 体 


早 在 1993 年 康 . 李 (Kang 
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Lee) 等 人 就 开始 构造 一 种 通用 的 智能 化 传感器 接口 标准 。1995 年 4 月 IEEE 成 立 P1451.1 
工作 组 和 P1451.2 工作 组 , 前 者 负责 对 智能 变 送 器 的 公共 目标 模型 及 对 相应 模型 的 接口 进行 


定义 ;后 者 负责 制定 变 送 器 电子 数据 定义 :和 数字 接口 标准 ， 包 括 智能 变 送 器 “和 网 络 能 力 应 


处理 器 > 之 间 的 通信 接口 协议 和 管 脚 定 义 分 本 


CE。 其 中 ， 变 送 器 电子 数据 定义 是 一 种 元 语言 


3 泛 在 设备 描述 及 语义 匹配 


描述 框架 , 在 智能 变 送 器 和 网 络 能 力 应 用 处 到 
的 描述 方法 和 封闭 形式 ， 使 网 络 能 够 自动 地 识别 和 处 理 这 类 智能 传感器 的 信息 。 


器 的 标准 接口 上 , 提供 了 一 个 传感器 数据 的 统 


机 物 协同 面临 的 首要 问题 是 如 何 克 服 设备 运行 时 的 “各 自 为 政 ” 和 “语言 不 通 ”， 关键 


之 处 是 解决 泛 在 设备 互联 互通 互 操作 的 问题 。 互 操作 包含 语法 互 操作 、 语 义 互 操作 等 。 如 果 


何 推进 互 操作 性 的 工作 而 言 , 语法 互 操 作 怕 


备 语义 协同 工作 能 力 。 
3.1 泛 在 设备 描述 


实现 设备 间 互 操作 需要 对 设备 进行 必要 


两 个 设备 (或 系统 ) 能 够 进行 通讯 和 交换 数据 ， 那 么 它们 就 具备 了 语法 协同 工作 能 力 。 对 任 
不 可 或 缺 。 数 据 交 换 旨 在 为 所 有 的 参与 方 带 来 有 


j 的 结果 ， 只 有 当 参 与 方 之 间 所 交换 的 数据 能 够 得 到 对 方正 确 处 理 和 使 用 的 情况 下 , 才能 其 


的 描述 ,包括 基本 描述 (设备 类 型 厂商 信息 等 )， 


语法 描述 〔 互 操作 范畴 、 基 本 状态 集 、 施 体 特性 要 素 、 受 体 特性 要 素 等 )， 语 义 描述 (设备 
能 基本 状态 集 属性 、 施 体 特性 要 素 属 性 、 受 体 特 性 要 素 属 性 及 各 种 属性 约束 规则 等 )。 


泛 在 设备 互联 互 操 作 系 统 要 想 在 动态 环境 ! 


准确 无 误 地 运作 , 必须 依赖 于 对 智能 空间 中 
泛 在 设备 的 本 质 及 其 与 其 他 实体 的 关系 的 准确 建 模 和 描述 。 当 一 个 设备 进入 到 智能 空间 中 
后 ， 普 适 计 算 中 间 件 应 该 能 够 获知 关于 该 设备 的 
什么 特征 ? 该 设备 能 够 提供 哪些 功能 ? 该 设备 能 外 


哪些 实体 的 影响 ?该 设备 的 服务 协议 、 接 


智能 空间 的 普 适 设备 种 类 复杂 ， 各 
自 的 属性 又 不 同 ， 因 此 需要 一 个 明确 
述 设备 属性 的 方法 以 便 应 用 可 以 理解 它 
们 ， 并 且 方 便 我 们 查找 设备 。 本 体 提供 
了 对 领域 知识 的 共同 理解 和 描述 ， 支 持 
可 保证 计算 完整 性 和 可 判定 性 的 逻辑 推 
理 。 目 前 本 体 已 被 应 用 至 普 适 计算 建 模 
领域 ， 用 于 规范 地 表示 领域 知识 。 通 过 
本 体 可 以 很 好 地 解决 设备 的 语义 描述 和 
二 义 性 问题 3。 泛 在 设备 本 体 也 可 使 用 
OWL 语言 进行 描述 。 泛 在 设备 本 体 是 
描述 泛 在 设备 的 有 效 途 径 ， 同 时 也 是 
述 泛 在 设备 领域 词汇 表 基 本 术语 及 其 关 
系 的 规范 说 明 ， 如 图 1 所 示 。 


泛 在 设备 本 体 是 通过 关系 和 关系 属 怕 


3 TEDS ,Transducer Electronic Data Sheet 
4 smart transducer interface module (STIM) 
”NCAP，Network Capable Application Processor 


诸多 信息 ， 包括: 该 设备 是 什么 ?该 设备 有 


多 对 哪些 实体 进行 操作 ? 该 设备 的 状态 受 


和 参数 是 什么 ? 


DP 


关系 属性 、 


图 1.。 泛 在 设备 本 体 


定义 的 。 其 中 关系 的 定义 域 为 所 定义 的 设备 本 号 ， 
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值 域 为 智能 空间 本 体 中 的 其 他 实体 ; 关系 属性 描述 了 对 关系 的 进一步 限制 ， 例 如 一 个 表示 
设备 名 称 的 关系 属性 “DeviceName"， 它 的 值 域 是 字符 串 〈string) 类 型 。 泛 在 设备 、 设 备 服 
务 和 设备 服务 接口 之 间 是 松散 耦合 的 。 每 个 设备 包含 若干 服务 ， 而 每 一 项 服务 包含 若干 输入 
输出 项 ， 三 者 并 不 是 严格 对 应 的 。 
民 据 泛 在 设备 本 体 的 定义 ， 可 以 建立 如 表 2 所 示 的 领域 词汇 表 。 
表 2 泛 在 设备 本 体 领域 词汇 表 
元 数据 定义 均 描述 
Thing 基础 本 体 
Device 设备 本 体 
EntityDevice 形态 性 设备 本 体 
FunctionalDevice 功能 性 设备 本 体 
Service 隶属 服务 本 体 
Interface 服务 接口 本 体 
is_a Thing Thing 是 (代表 从 属 关系 ) 
hasEntityDevice Device EntityDevice 有 形态 性 设备 


hasFunctionalDevice Device FunctionalDevice 有 功能 性 设备 


hasService FunctionalDevice Service 


hasMandatoryService | FunctionalDevice Service 


hasOptionalService FunctionalDevice Service 


hasInterface Service Interface 


hasMandatoryInterface Service Interface 有 必 有 备 接 


hasOptionalInterface Service Interface 有 可 选 接 


isEntityDeviceof EntityDevice Device 是 xxx 的 形态 性 设 
媳 


isFunctionalDeviceof | FunctionalDevice Device 是 xxx 的 功能 性 设 


isServiceof Service FunctionalDevice 是 xxx 的 服 


的 必 备 


isMandatoryServiceof Service FunctionalDevice | 是 xxx 


isOptionalServiceof Service FunctionalDevice | 是 xxx 的 可 选 


isInterfaceof Interface Service 是 xxx 的 接 
的 必 备 接口 
isOptionalDeviceof Interface Service 是 xxx 的 可 选 接口 


isMandatoryInterfaceof Interface Service 是 XXX 


DeviceProperty EntityDevice / 设备 属性 


Description EntityDevice string 设备 描述 


Manufacturer EntityDevice string 设备 厂家 


Model EntityDevice string 设备 型 写 


Name EntityDevice string 设备 名 称 
PowerRating EntityDevice float 设备 额定 功率 
Serial EntityDevice string 设备 序列 号 
DeviceParameter EntityDevice / 设备 参数 


Status EntityDevice {on,off,sleep} 当前 状态 


Country EntityDevice string 产地 


3.2 泛 在 设备 语义 匹配 
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要 实现 智能 空间 


服务 的 自动 发 现 和 调用 ， 面 临 着 两 个 关键 问题 : 


1. 服务 发 现 不 能 仅仅 依赖 关键 词 搜索 , 而 需要 按照 服务 所 提供 的 功能 的 实际 意义 进行 


搜索 ， 这 样 才能 找到 确实 需要 的 服务 ， 而 不 是 儿 个 关键 词 所 表达 出 的 意义 ; 


2. 服务 调用 和 服务 组 闭 的 自动 化 需要 基于 语义 的 互 操作 ,服务 之 间 必 须 能 够 理解 互相 


交换 的 信息 。 
都 一 样 ， 也 不 
定 是 相同 的 。 


-物理 映射 建 模 ， 在 信 ， 
物理 空间 本 体 中 的 关 


然而 即使 一 个 服务 的 输出 参数 和 男 一 个 服务 的 输入 参数 的 名 字 、 类 型 
一 定 能 将 它们 连接 起 来 ， 因 为 两 个 服务 名 称 及 其 参数 的 实际 含义 不 一 


上 述 两 个 问题 都 需要 基于 语义 的 服务 匹配 。 泛 在 设备 语义 匹配 通过 对 智能 空间 进行 信息 


昌 空 间 和 物理 空间 建立 了 严格 的 映射 关系 。 信 息 空 间 的 服务 可 映射 为 
系 或 关系 属性 ， 由 此 可 将 服务 匹配 问题 转化 为 本 体 相似 度 计算 问 


题 "" 5， 避 免 了 推理 过 程 的 引入 ， 提 高 了 多 本 体 环境 下 服务 匹配 的 效率 。 


本 体 相 似 度 一 般 可 


通过 两 种 方法 实现 。 一 是 以 本 体 概念 之 间 的 相似 性 为 基础 ， 通过 计算 


本 体内 或 者 本 体 间 的 语义 相似 性 来 实现 ， 这 种 方法 在 基于 OWL-S 相似 性 的 服务 匹配 中 应 用 


较为 广泛 ， 二 是 通过 


算 本 体 概 念 之 间 的 罗 辑 关系 来 实现 。LARKSD9 是 最 早 基于 本 体 概 念 


之 间 的 逻辑 关系 研究 语义 服务 匹配 的 系统 。LARKS 支持 语法 匹配 和 语义 匹配 ， 通 过 五 种 过 
滤器 〈 上 下 文 匹 配 、 概 要 比较 、 相 似 性 匹配 、 前 面 匹 配 和 限制 条 件 匹配 ) 来 比较 两 个 概念 之 
间 的 关系 ,并 利用 了 关联 网 络 来 计算 概念 之 间 的 相关 性 。 在 关联 网 络 中 ,概念 之 间 的 关系 有 
一 般 化 、 特 殊 化 以 及 正 向 关联 等 。 不同 匹配 模型 将 分 别 计算 不 同 的 相似 性 或 相似 性 的 组 合 。 


此 外 , 还 有 一 种 混合 式 语 义 相似 度 计算 。 混 合式 语义 相似 度 计 算 方法 实际 上 是 对 语法 和 


语义 的 综合 考虑 ， 即 同时 考虑 了 概念 词 的 位 置信 息 、 边 的 类 型 、 概念 词 的 属性 信息 等 。 代 


表 算 法 有 罗 德 里 格 斯 


(Rodriguez) 等 人 提出 的 算法 模型 。 罗 德里 格 斯 方法 同时 考虑 了 概 


念 词 的 位 置信 息 和 属 怕 
项 ， 其 算法 模型 为 : 


Sim 


其 中 ww 、ws、 wn 分 别 表示 同义词 集 、 特 征 项 、 语 义 邻 居 节 点 间 相 似 度 的 权重 。 


FE 信 息 , 具体 包括 被 比较 概念 词 的 同义词 集 、 语义 相 邻 节点 和 区 别 特征 


(a®,b®) = wsS, (a ,b? )+ wuS, (a®,b® )+ wsSn (a" ,2 ) 


4 泛 在 设备 互 操作 中 间 件 


泛 在 机 物 协 同 环境 包括 各 种 计算 机 、 家 电 、 传 感 器 、 执 行 器 、 控 制 器 等 。 这 些 设 备 的 软 


智能 家 居 网 络 为 例 ， 
难以 互联 互通 。 


人 硬件 平台 、 功 能 、 协 议 、 形 态 差 异 很 大 ， 所 以 设备 间 的 互 操作 和 互 协作 存在 很 大 的 障碍 。 以 
目前 市 场 上 中 各 种 信息 家 电 、 家 届 、 安 防 控制 系统 各 式 各 样 ， 彼 此 之 间 


泛 在 设备 互 操 作 中 间 件 针对 机 物 协 同 环境 异 构 、 不 确定 、 复 杂 的 特点 ， 在 动态 环境 
中 根据 不 同 设备 的 特点 和 属性 ， 将 设备 分 为 感知 、 环 境 、 音 视频 、 安 人 全、 功能、 通信、 人 机 
接口 、 仪 表 和 智能 等 类 别 ， 通 过 定义 这 些 设备 和 服务 的 模型 ， 构 建 基于 设备 能 力 的 互 操 作 拓 


扑 ， 实 现 细 粒 度 、 构 作 


F 化 的 设备 和 服务 复 用 。 


设备 在 物 联网 环境 中 有 着 重 
样 的 关系 ， 并 且 作 为 物理 实体 ， 其 自身 就 共有 自主 性 、 交 互 性 、 反 应 性 和 主动 性 的 特征 。 因 
此 ， 代 理 技术 非常 适合 于 泛 在 设备 本 体 在 分 布 式 系统 中 的 实现 ， 异 构 设 备 /系统 互 操 作 的 中 
间 件 中 涉及 的 代理 分 为 两 种 : 实体 设备 代理 和 虚设 备 代理 。 


的 地 位 。 每 一 个 设备 与 物理 世界 中 的 其 他 实体 有 着 各 种 各 


烟 
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实体 设备 代 弄 


基于 泛 在 设备 互 操作 的 机 物 协 同 技术 


和 虚设 备 代理 是 泛 在 设备 物理 实体 在 互 操 作 层 的 计算 实体 ,实体 设备 代理 


一 方面 通过 和 泛 在 网 络 中 的 各 种 实体 设备 进行 通信 和 控制 , 对 物理 世界 进行 感知 和 影响 ; 另 


一 方面 通过 将 UPnP 服务 封装 ， 把 实 


体 设备 的 功能 映射 为 信息 空间 的 服务 。 实 体 设 备 是 代理 


与 设备 进行 通信 的 桥梁 。 由 于 泛 在 设备 的 种 类 繁多 , 厂家 不 同 ,所 以 实体 设备 接口 部 分 通常 
要 根据 设备 的 不 同 进行 单独 设计 ， 并 根据 设备 所 采用 的 通信 方式 调用 相应 的 通信 协议 和 接 


口 。 


除 


设备 代 到 


任 
固定 流程 | 拖 放流 程 | | 耦合 推理 | 知识 监督 | 甸 
织 


5 ostlo sl 人 


图 2. 异 构 设备 互 操 作 中 间 件 


了 实体 设备 代理 之 外 ,在 互 操作 层 还 有 一 类 起 辅助 作用 的 代理 ， 
不 需要 与 实体 设备 进行 直接 通信 ， 而 是 通过 U 
对 实体 设备 进行 控 


症 。 为 了 实现 智能 空间 的 数据 融合 、 情 境 感 知 、 设 备 


你 为 虚设 备 代理 。 虚 
PnP 协议 调用 实体 代理 的 服务 ,间接 


主 协 同 ， 可 以 用 不 


同 的 虚设 备 代 理 完成 不 同 的 功能 模块 。 


泛 在 设备 互 操作 ， 


泛 在 设备 智能 代 到 
加 载 器 将 设备 提 


1. 


间 件 如 图 2 所 示 ， 大 致 可 分 为 五 个 部 分 : 


EE 《Agent): 通过 实体 设备 接口 与 泛 在 设备 进行 
上 象 为 设备 无 关 〈 device independent) 的 本 体 构 伯 


粒度 服务 重组 提供 标准 化 的 “积木 ”。 


互 操作 拓扑 网 络 : 根据 本 体 构 伯 


服务 流程 规划 : 


通信 ， 并 通过 本 体 
F， 从 而 为 设备 的 细 


的 耦合 情况 ， 建 立 全 局 服务 互 操作 拓扑 网 络 ， 从 而 
显 式 地 表达 服务 之 间 的 组 合 情 况 ， 为 智能 的 服务 流程 规划 建立 基础 。 


根据 互 操 作 拓扑 网 络 , 进行 服务 流程 规划 , 形成 服务 流程 描述 文档 。 
我 们 实现 了 四 种 服务 流程 规划 方法 ， 分 别 是 : 


一 固定 流程 : 事先 设计 好 ， 并 用 工作 流 建 模 语 言 描述 出 来 的 流程 


一 拖 放流 程 : 使 用 拖 放 方式 进行 流程 设计 ， 并 自动 生成 流程 描述 文档 ; 


一 耦合 推理 : 根据 服务 耦合 关系 ， 采 用 有 限 状态 机 方法 


档 ; 


一 知识 监督 ;根据 物理 空间 的 规则 与 知识 ， 对 服务 流程 的 合 j 


时 性 进行 验证 。 


动 生成 服务 流程 和 描述 文 
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4. 流程 控制 : 根据 流程 规划 生成 的 工作 流 描述 文档 ， 对 泛 在 设备 进行 依次 控制 ， 并 收 
集 设备 运行 结果 。 

5. 任务 分 发 与 解析 : 通过 手动 方法 输入 任务 的 起 始 和 终止 条 件 ， 并 下 发 给 流程 规划 代 
里 进行 任务 规划 。 

基于 泛 在 互 操作 中 间 件 , 可 以 实现 一 种 新 的 普 适 计算 应 用 设计 方法 。 这 种 设计 方法 的 特 

点 在 于 : 

1. 设备 的 硬件 接口 、 协 议 、 语义 可 以 是 异 构 的 , 例如 机 顶 盒 和 手机 是 基于 UPnP 标准 ， 
计算 机 是 基于 IGRS 标准 ,传感器 可 以 是 基于 Zigbee 标准 ， 甚 至 还 可 以 有 传统 的 串 
口 、 并 口 设 备 。 所 有 的 设备 都 可 以 通过 实体 设备 代理 转换 成 统一 的 标准 协议 ; 

2. 设备 被 抽象 为 实体 无 关 的 设备 模型 ， 通 过 描述 文档 定义 其 服务 和 参数 的 语义 ， 并 提 
供 访问 地 址 和 协议 类 型 ; 

3. 使 用 通用 设备 控制 工具 对 设备 的 可 用 性 进行 测试 ; 

4. 设计 具体 应 用 时 ， 可 以 使 用 流程 规划 工具 ， 通 过 拖 放 或 自动 规划 方法 ， 将 多 个 设备 
服务 进行 重组 合 ， 设 计 出 符合 应 用 逻辑 的 服务 流程 ; 

5. 应 用 的 运行 由 流程 控制 工具 负责 , 流程 控制 工具 根据 流程 规划 描述 文档 依次 调用 设 


备 服务 ， 完 成 应 用 逻辑 。 


在 未 来 的 机 物 协同 环境 下 ,会 有 海量 的 泛 在 设备 融入 到 环境 , 提供 无 押 不 在 的 计算 服务 。 


泛 在 互 操作 中 间 件 可 以 根据 


j 户 需求 ， 自 发 地 组 织 构件 化 的 设备 元 服务 完成 复杂 的 应 用 流 


程 ， 无 需 用 户 分 散 精 力 进行 控制 。 最 终 可 以 让 计算 机 本 身 从 人 们 的 视线 中 消失 ,符合 普 适 计 


5 


“爱心 小 屋 ” 基 于 远程 


亲情 互动 技术 ， 实 现 了 手机 -1 


算 “ 无 处 不 在 ”和 “以 人 为 本 ”的 思想 ， 体 现 了 机 物 协同 的 本 质 特征 。 


“爱心 小 屋 ” 中 的 机 物 协同 技术 


BE 视 多 屏 互 动 、 亲 情 沟 通 环 境 的 


适应 调节 、 远 程 文档 的 高 保 真 呈 现 等 功能 ， 从 而 构建 了 一 个 低 成 本 、 易 推广 的 家 人 之 间 有 效 


沟通 的 亲情 互动 平台 。 划 


中 , 泛 在 机 物 协同 技术 为 亲情 沟通 提供 了 互联 互通 的 设备 网 络 基础 ， 


为 实现 家 人 之 间 沟 通 所 需 的 数据 和 服务 共享 构建 了 物 联 基础 条 件 。 


5.1 多 屏 互 动 技术 


多 屏 互动 技术 的 本 质 是 在 
各 种 终端 设备 (手机 、PAD、TV 
等 ) 之 间 ， 实 现 多 媒体 (音频 ， 
视频 , 图片) 内 容 的 传输 、 解析 、 
展示 、 控 制 等 一 系列 操作 ， 可 以 
在 不 同 平台 设备 上 同时 共享 展 
示 内 容 ， 丰 富 用 户 的 多 媒体 生 


{Ho 


“爱心 小 屋 ” 基 于 多 协议 语 
义 互 译 与 设备 互联 技术 ， 其 研发 
工作 主要 针对 网 络 电视 、 摄 像 头 
和 智能 手机 ， 使 之 集成 实现 其 基 


> 


四 


用 户 1 
图 片 1 切换 
到 图 片 2 


| 


用 户 1 


本 功能 和 扩展 功能 。 


基本 功能 实现 基 ] 
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图 片 1 的 多 屏 共享 


> 


f 
图 片 2 的 多 屏 共享 
爱心 小 屋 人 爱心 小 屋 B 
色 
用 户 2 
图 3. 多 屏 共 享 示意 图 


无 线 局 域 风 (Wifi 〉 和 蓝牙 (Bluetooth) 协议 的 语 


基于 泛 在 设备 互 操作 的 机 物 协同 技术 


义 互 译 ,支持 无 线 局 域 网 和 蓝牙 设备 互联 和 互 操作 ;扩展 功能 将 支持 更 为 广泛 的 IGRS/UPnP 协 
议 的 语义 互 译 ， 针 对 远程 亲情 互动 平台 的 功能 扩展 ,支持 更 广泛 的 设备 互联 互 操作 。 其 所 实 
现 的 多 平台 互动 技术 如 图 3 所 示 ， 通 过 “爱心 小 屋 ” 平台， 用 户 1 可 以 在 与 远程 用 户 2 实现 
交互 式 亲 情 沟 通 的 同时 ,通过 “爱心 小 屋 ” 平 台 显示 终端 ,将 自己 手持 终端 的 桌面 投影 到 用 
户 2 的 手机 上 , 用 户 1 手持 终端 显示 改变 时 , 会 带动 平台 显示 终端 和 用 户 2 的 手持 终端 显示 
的 同步 变化 ， 实 现 手持 终端 和 平台 显示 终端 的 多 屏 同步 互动 。 


“爱心 小 屋 " 平 台所 使 用 的 资源 共享 呈现 系统 主要 是 用 来 实现 沉浸 式 交互 与 资源 共享 的 

同步 响应 机 制 、 沉 浸 式 交互 与 共享 资源 呈现 系统 的 图 形 用 户 界面 (GUI ) 融合 机 制 。 与 知 

能 电视 沉浸 式 交互 系统 的 有 机 协调 是 资源 共享 与 呈现 系统 的 重点 研发 内 容 .基于 混合 图 像 纺 

码 的 远程 屏幕 共享 将 研究 实现 高 清 混合 图 像 编码 算法 、 计 算 机 桌面 图 像 序列 编码 算法 、 高 效 

屏 技术 和 消除 编码 效应 的 后 处 理 技术 ， 实 现 高 效 截屏 和 屏幕 共享 。 

5.2 用 户 体 验 质量 的 视频 评估 及 智能 灯光 控制 

基于 用 户 体验 质量 5 的 视频 评估 及 智能 灯光 控制 系统 如 图 4 所 示 。 系 统 由 计算 机 、 摄 像 

头 和 背景 灯 组 成 。 摄像 关 用 于 采集 用 户 的 视频 图 像 信息 ; 计算 机 从 视频 中 提取 用 户 的 脸 部 图 

像 ， 并 根据 对 脸 部 图 像 的 分 析 来 对 视频 质量 进行 评估 ， 进 而 控制 背景 灯 的 光照 强度 ， 背景 灯 

强度 的 调节 将 改变 环境 光 的 强度 ， 从 而 提高 用 户 脸 部 图 像 的 质量 ， 实 现 高 质量 的 视频 通信 。 
智能 灯光 控制 系统 包含 两 种 形式 的 机 物 摄像 关 

协同 : (1) 摄像 头 和 计算 机 之 间 的 协同 在 视 


频 通讯 过 程 中 ， 计 算 机 将 根据 应 用 需求 开启 | 国 | 
摄像 头 并 采集 视频 数据 。 为 了 提高 视频 交互 


的 质量 ， 便 于 利用 评估 算法 对 视频 质量 进行 用 户 wi | 
评估 , 计算 机 会 控制 摄像 头 的 云 台 进行 旋转 ， 电视 机 

将 用 户 的 图 像 自动 定位 在 所 采集 视频 的 中 央 图 4， 基于 QoE 的 视频 评估 及 
区 域 ; (2) 计算 机 与 灯光 之 间 的 协同 计算 机 智能 灯光 控制 系统 示意 图 


通过 对 视频 质量 的 评估 ， 根 据 灯 光 控 制 策略 
制定 每 一 个 背景 灯 的 最 优 照明 强度 , 并 根据 策略 发 送 控制 命令 给 背景 灯 的 控制 器 ,实现 背景 
灯 照 明 强 度 的 自动 调节 。 


; 基于 PWM 的 
流 控制 
口 
通 
信 
送 端 
无 线 传输 模块 


图 5. 基于 PWM( 脉 宽 调制 ) 的 背景 灯光 协同 控制 
计算 出 控制 决策 之 后 ,背景 光源 控制 模块 根据 决策 协同 控制 灯光 亮度 ， 如 图 5 所 示 。 系 


6 QoE, Quality of Experience, 
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日 脉冲 宽度 调制 (PWM) 来 调节 灯光 亮度 ， 通 过 调节 脉冲 的 频率 将 灯光 亮度 分 为 128 


个 等 级 。 计 算 机 可 通过 433MHz 无 线 通 信 模 块 对 灯光 控制 模块 进行 协同 控制 。 
5.3 高 清 实物 成 像 共 享 
高 清 实 物 成 像 共 享 是 指 通 过 摄像 机 和 网 络 对 实物 进行 实时 展示 的 一 种 技术 ， 如 图 6 所 


示 ， 通 过 摄像 机 对 需要 传输 的 文档 进行 远程 传输 和 显示 。 与 通用 视频 传输 技术 不 同 的 是 ,由 
于 需要 传输 的 是 静态 物体 ， 为 了 减少 数据 量 的 传输 ， 大 都 采用 静态 图 片 的 形式 进行 。 但 是 由 


于 视频 采集 设备 的 分 辨 率 较 低 , 需要 通过 视频 超 分 辩 率 技术 ( 即 由 多 帧 低 分 辨 率 视频 图 像 重 
事 一 幅 高 清 的 静止 图 片 ) 提高 图 片 的 主观 质量 。 在 对 图 片 进行 编码 传输 的 过 程 中 ， 由 于 是 与 
爱心 小 屋 ” 的 主 视频 信息 进行 混合 


传输 的 , 为 了 不 干扰 主 视频 流 的 传输 ， 


« 


是 


建 


6 7 


需要 采用 分 层 编码 和 重建 技术 “爱心 
以 ”采用 的 是 基于 二 又 树 的 图 片 编 
码 方式 ,在 30 售 压缩 率 时 解码 图 像 近 并 

dA 
似 无 损 ， 图 像 细节 保持 完整 并 且 计算 


Ar 六 
间 里 。 


小 
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的 远程 杀 
信 网 络 、 移 动 计算 、 和 嵌入 式 系统 、 传 感 器 等 技术 的 发 展 和 日 益 成 熟 ， 以 泛 在 设备 互 操作 为 基 


图 6. 高 清 实物 展示 系统 


结束 语 


本 文 以 泛 在 设备 互 操作 技术 为 重点 , 介绍 了 机 物 协同 技术 的 本 质 和 特点 , 用 “爱心 小 屋 ” 


i 


博 互 动 系统 作为 实例 ,印证 了 机 物 协同 技术 的 习 


要 性 和 平台 基础 支撑 作用 。 随 着 通 


础 的 机 物 协 同 技术 必 将 极 大 地 提升 人 们 随时 随地 、 方 便 自由 地 享用 计算 和 信息 服务 的 能 力 。 
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